13. Hadoop RPC框架之通信模块

您所在的位置:网站首页 hadoop rpc框架 13. Hadoop RPC框架之通信模块

13. Hadoop RPC框架之通信模块

2023-08-20 10:27| 来源: 网络整理| 查看: 265

Hadoop作为分布式存储系统,各个节点之间的通信和交互是必不可少的,所以需要实现一套节点间的通信交互机制,Hadoop框架并没有使用JDK自带的RMI(Remote Method Invocation,远程方法调用),而是基于IPC(Inter-Process Communications,进程间通信)模型实现了一套高效的轻量级RPC框架,这套RPC框架底层采用了JavaNIO、Java动态代理以及protobuf等基础技术。

Hadoop RPC框架与其他RPC框架一样,实现了上篇文章描述到的结构,下来来看看各个模块在Hadoop RPC中的实现

通信模块

Hadoop 实现了org.apache.hadoop.ipc.Client(简称Client类)以及org.apache.hadoop.ipc.Server(简称Server类)提供的基于TCP/IP Socket的网络通信功能,客户端可以通过Client类将序列化的请求发送到远程服务器,服务器会通过Server类接收来自客户端的请求

客户端在发送请求到远程服务器前需要先将请求序列化,然后调用Client.call()方法发送这个请求到远程服务器。为了使RPC机制更加健壮,Hadoop RPC允许客户端配置使用不同的序列化框架序列化RPC请求(例如protobuf、avro),这就要求Client.call()方法的定义更加通用,也就是Client.call()方法可以发送任意序列化框架产生的RPC请求,所以Client.call()方法定义如下

public Writable call(RPC.RpcKind rpcKind, Writable rpcRequest, ConnectionId remoteId, int serviceClass, AtomicBoolean fallbackToSimpleAuth) throws IOException { // 具体代码省略 }

rpcKind参数用于描述RPC请求的序列化工具的类型,rpcRequest参数用于记录序列化后的RPC请求。注意,rpcRequest是Writable类型的(Hadoop框架自己定义的序列化类型),这就要求客户端Stub程序将RPC请求序列化后保障成Writable类型,所以WritableRpcEngine定义了Invocation类包装Writable序列化的RPC请求,而ProtobufRpcEngine则定义了RpcRequestWrapper包装protobuf序列化的RPC请求。

在看服务端,为了提高性能,Server类采用了Java NIO提供的基于Reactor设计模式的事件驱动I/O模型,当Server完整地从网络接收一个RPC请求后,会调用call()方法响应这个请求,该方法定义如下

public abstract Writable call(RPC.RpcKind rpcKind, String protocol, Writable param, long receiveTime) throws Exception;

Server.call()方法的定义与Client.call()方法很相似



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3